JSAI2026 アルゴリズム的系列学習におけるメモリ拡張ニューラルネットワーク設計の体系的検証
テーマ
外部メモリを持つニューラルネットワーク（MANNs）の設計要素を整理し、系列タスクで体系的に比較する研究 単に系列を予測するのではなく、背後にある「アルゴリズム」を学習できるかに注目する
例: 0と1からなる文字列を渡されてどのようなルールかをかを理解できるか？
系列予測
アルゴリズム推論
系列コピーなど
アルゴリズム推論
基本的には自然言語と同じく Next Token Prediction をやるのだが
難しさ
アルゴリズム学習においてはトークンそのものが意味を持つわけではない
有限個の見本例から操作を同定できない
アイデア
系列の各時刻でメモリへの操作とその時刻での出力を予測する再帰NN
フラットメモリ（NTM）、ランダムアクセス型
構造化メモリ ← 採用
Stack: ある時刻での操作を (Push / Pop / 何もしない) の3択に制約できて便利 挑戦
操作列は離散的な側面
メモリ操作を微分可能にする非自明な設計
重ね合わせ方式
層別化方式
不安定とされているので検証した
設計
コントローラ
RNN / LSTM / MRNN / MLSTM
アクションロジット生成
Liner
High Ordered
正規化手法
背景課題
RNN / LSTMは再帰的な状態更新を持つため、形式言語的なタスクで有利に働く可能性がある 有限の訓練例から一般的な手続きを学ぶには、適切な帰納バイアスが必要になる
ポイント daiiz.icon
外部メモリを単なる容量拡張ではなく、アルゴリズム学習のための構造的バイアスとして扱う
メモリとしてStackやQueueのような古典的データ構造を使う
とり得る操作を制限できて便利
ニューラルネットワークの汎化能力にどう効くか
長さ汎化を見る
「それっぽく学習した」のか「手続きを獲得した」のかを分ける試み